Uso degli algoritmi e distorsioni programmate


Dimmi che codice postale hai e ti dirò chi sei

di Gabriele Lolli

Cathy O’Neil Armi di distruzione matematicaFino a qualche anno fa pochi sapevano cosa significasse la parola “algoritmo”, al massimo “algo”, in greco “dolore”, suggeriva argomenti medici. Ora si fanno pressanti gli avvertimenti a non affidarsi ciecamente agli algoritmi (procedure automatiche programmabili). Cathy O’Neil avverte che gli algoritmi che dominano la nostra quotidianità iperconnessa sono vere e proprie armi di distruzione di massa (nella traduzione si perde il gioco di parole sulle armi di mass/math destruction): non tengono conto di variabili fondamentali, incorporano pregiudizi e se sbagliano non offrono possibilità di appello. Dalla presentazione: “Queste armi pericolose giudicano insegnanti e studenti, vagliano curricula, stabiliscono se concedere o negare prestiti, valutano l’operato dei lavoratori, influenzano gli elettori, monitorano la nostra salute”. L’autrice non discute aspetti tecnici degli algoritmi, pur essendo stata professore di matematica alla Columbia University e aver lasciato l’insegnamento per lavorare in campo finanziario, osservando da dentro il crollo del 2008. Mette in luce come chi utilizza o commissiona uno di questi programmi sceglie le variabili e dà loro un peso con l’obiettivo di poter disporre in tal modo di milioni di dati sui quali basare le proprie strategie o vendere al meglio i propri prodotti. I centri commerciali per esempio hanno orari di apertura flessibili sensibili al tempo atmosferico, al traffico, a eventi locali; le condizioni cambiano ora per ora e la forza lavoro utilizzata deve soddisfare la domanda fluttuante. Orari irregolari per il personale sono la regola, senza riguardo per chi lavora.

Le prime armi di distruzione di math sono state quelle degli anni ottanta riguardanti l’istruzione. Nel 1983 il presidente Reagan sollevò un allarme sulla mediocrità che minacciava la nazione; un rapporto A Nation at Risk basato sui test Sat di ammissione all’università indicava che negli ultimi quaranta anni i punteggi linguistici erano scesi di 50 punti e quelli di matematica di 40. Responsabili di una cattiva riuscita degli studenti erano semplicemente riconosciuti i docenti. Iniziò la valutazione degli stessi, in base ai risultati dei loro studenti. O’Neil cita il caso di un docente che un anno si è trovato una valutazione di 6 su 100 e l’anno dopo di 96 su 100; l’algoritmo semplicemente non teneva conto della condizione culturale e sociale della classe assegnatagli, che da un anno all’altra era cambiata. Anni dopo alcuni statistici si dedicarono a scrutinare il rapporto e constatarono che i punteggi erano sì scesi, ma la popolazione scolastica era enormemente cresciuta coinvolgendo strati finora esclusi di poveri e minoranze. La funzione della scuola di fornire opportunità si espandeva. Ovviamente le medie si erano abbassate, ma scomponendo la popolazione in gruppi di reddito, per ciascuno di questi risultava una crescita. Si tratta di un fenomeno noto agli statistici come paradosso di Simpson, e O’Neil lo illustra in vari casi.

La valutazione dei college, inventata nello stesso 1983 dai giornalisti di “US-News” per fare concorrenza alle grandi testate, è presto diventata lo standard nazionale. Erano presi in esame i risultati dei test Sat degli iscritti, il rapporto studenti/professori, le percentuali di passaggio di anno e di laureati, l’ammontare di donazioni degli ex-alunni. Gli algoritmi, soprattutto quelli mal fatti, hanno la tendenza ad autorealizzare le condizioni che ipotizzano e a generare cicli perversi: se il metodo di valutazione di “US-News” è accettato, i migliori studenti e i migliori professori si orienteranno verso i posti avanti in graduatoria, e la differenza con quelli scadenti aumenterà. Il fenomeno è ancora più evidente e drammatico negli usi di algoritmi in campo giudiziario; in questo caso le persone sono etichettate con pochi parametri, ma universale e principale è quello dello zip-code (codice postale, più di 30 mila negli Usa); questo individua subito i quartieri poveri, neri, dove la piccola delinquenza è maggiore; chi proviene da uno di questi quartieri ha assegnata un’alta probabilità di recidiva, il che comporta meno attenuanti e spesso una condanna più lunga e quindi un ritorno più difficile alla vita civile, con la quasi certezza di una recidiva. O’Neil descrive e analizza in modo analogo le assicurazioni, le agenzie di prestito, la pubblicità on-line, le assunzioni basate su nuovi profili di personalità (per evitare le discriminazioni illegali) costruiti da algoritmi, le elezioni con messaggi personalizzati, il modo come i nostri dati sono catturati e venduti; alcuni fenomeni sono tipici della vita americana, ma sono ugualmente istruttivi perché andiamo a rimorchio, in particolare sulla scuola.

Paolo Zellini e la dittatura del calcolo

Paolo Zellini La dittatura del calcoloZellini riprende le parole di O’Neil e rincara la dose: “L’algoritmo sembra fornire dati oggettivi, ma non sempre rispecchia le nostre vere intenzioni (…) spesso il criterio di efficienza computazionale finisce per imporsi sui criteri di giustizia e d’imparzialità”, aiutato anche dalla comoda delega di responsabilità ad una presunta oggettività. Il problema tuttavia è che gli algoritmi sono opachi, quindi il “controllo sociale sistematico e invasivo (…) si avvale di metodi invisibili ai più”. “Oggi (…) i congegni che ci controllano funzionano con l’analisi di grandi volumi di dati (i big data). (…) Negli ultimi vent’anni (…) l’intera direzione del calcolo si è come rovesciata”: se una volta i dati erano passivi in attesa di elaborazione, ora è il loro profluvio a guidare le operazioni e a dire quale dovrà essere la prossima iniziativa.
Siccome l’aumento della velocità dei calcolatori, su problemi esponenziali, non dà più che tanto di vantaggi, “è più spesso utile concentrarsi sul costo (tempo, spazio di memoria) degli algoritmi e su eventuali nuove teorie matematiche che consentano di ridurlo”. L’autore, professore di calcolo numerico, può parlarne con competenza, mostrando che gli algoritmi sui big data si basano su complesse teorie e su strutture matematiche relativamente astratte. Inoltre “data la difficoltà di risolvere con algoritmi veloci intere classi di problemi di dimensione elevata”, si ricorre a procedure approssimate il cui risultato coincide con la soluzione cercata solo con una probabilità sufficientemente alta. Incertezza e approssimazione sono la norma; all’oracolo ci si affida con un atto di fede.

La matematica tuttavia fa di più. La forza e la credibilità del calcolo si deve “alla saldatura dei due principali orientamenti della matematica, quello teorico e quello applicativo”. Nel XX secolo si sono sviluppate due tendenze apparentemente divergenti: lo studio dell’infinito, presente in teorie sempre più astratte e generali da una parte, e dall’altra la scoperta della ricchezza del finito. Nella tendenza astratta la matematica ha affrontato anche il concetto di calcolabilità, l’ha definito, precisato i limiti e mostrato la vastità dell’incomputabile. Teoremi e tecniche che erano servite a risolvere le questioni di non calcolabilità teorica “cominciarono a riguardare anche il calcolo concreto e la misura dell’efficienza degli algoritmi”. In questo senso, senza “conoscere le motivazioni che hanno promosso lo sviluppo, non riusciremmo a capire la nostra fiducia, a tratti irresponsabile, negli algoritmi, né (…) a cogliere le ragioni profonde che sembrano consegnarci, inermi e impreparati a quella fiumana di tecnologie digitali che sarebbero perfino in grado di alterare (…) la nostra mente e la nostra identità”.
Lo sarebbero perché le operazioni più riposte dell’elaborazione automatica “coincidevano con le operazioni più note ed essenziali della nostra esistenza individuale e collettiva: (…) le operazioni di ordinamento, il calcolo del massimo e minimo elemento di una sequenza ordinata, le più semplici valutazioni probabilistiche, le procedure per ridurre la discrepanza tra la soluzione di un problema e la sua approssimazione numerica”. La logica degli algoritmi realizzava, secondo l’idea originaria di Turing, “un’immediata combinazione tra ratio calcolante e prassi ordinaria”. In certe intuizioni geniali di Turing e von Neumann, come il test di Turing, la macchina che descrive se stessa, le macchine autoriproducentisi di von Neumann, si vede proprio una prefigurazione della “fiducia nella realizzazione tecnologica e informatica di una coscienza superiore e anonima (…): erano questi solo i primi autorevoli segnali della progressiva plausibilità del risultato più estremo: la finale indistinguibilità tra l’uomo e la macchina”.

L’immaginazione nell’era dei computer secondo Ed Finn

Zellini propone quindi, per spiegare la saldatura teorico-pratico, una rilettura del cosiddetto periodo dei fondamenti (circa 1890-1950) che mostrerebbe una competizione/collaborazione per la conquista dell’infinito, da cui emerge la coscienza e la criticità di un nuovo oggetto di studio, il “finito molto grande”.
Mentre O’Neil e Zellini offrono strumenti per capire (la prima auspica che le università s’impegnino di più nell’analisi degli algoritmi), Ed Finn si rivolge invece agli entusiasti o distratti che accolgono o subiscono la trasformazione in atto del nostro mondo mentale, confortandoli con la tesi che gli algoritmi hanno radici nella filosofia tradizionale della magia dei simboli, degli incantesimi dei linguaggi. Constata che gli algoritmi intellettuali si sono trasformati in missioni epistemologiche per realizzare la conoscenza universale voluta dall’illuminismo. “Noi, avido pubblico accettiamo gli algoritmi come prodotti magici dell’elaborazione”. Spazia poi sui romanzi cyberpunk, Netflix, House of Cards (estetica algoritmica), i bitcoin sostenendo che “i modelli algoritmici della cultura sono sempre più influenti e inevitabili”: un pastrocchio verboso che invita a “collaborare con le macchine culturali”.

gabrielelolli42@gmail.com

G Lolli ha insegnato filosofia della matematica alla Scuola Superiore Normale di Pisa

I libri

  • Ed Finn, Che cosa vogliono gli algoritmi. L’immaginazione nell’era del computer, ed. orig. 2017, trad. dall’inglese di Daniele A. Gewurz, pp. 236, € 20, Einaudi, Torino 2018
  • Paolo Zellini, La dittatura del calcolo, pp. 186, € 12, Adelphi, Milano 2018
  • Cathy O’Neil, Armi di distruzione matematica. Come i Big Data aumentano la disuguaglianza e minacciano la democrazia, ed. orig. 2016, trad. dall’inglese di Daria Cavallini, pp. 368, € 18, Bompiani, Firenze 2017